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摘 要 多 感觉 整合 遵循 空间 原则 和 时 间 原 则 ， 有 研究 表明 Pip-and-Pop 效应 产生 的 原因 是 
多 感觉 整合 ， 那 么 Pip-and-Pop 效应 是 否 同样 遵循 空间 原则 和 时 间 原 则 呢 ? 本 研究 采用 动态 
视觉 搜索 范式 ， 通 过 两 个 眼 动 实验 考察 空间 一 致 性 (实验 1) 和 时 间 一 致 性 (实验 2) 对 
Pip-and-Pop 效应 的 影响 。 结 果 发 现 ，(1) 当 视觉 目标 颜色 变化 伴随 一 个 同 侧 的 听觉 刺激 时 所 
产生 的 Pip-and-Pop 效应 最 大 ， 对 侧 条 件 没有 发 现 Pip-and-Pop 效应 。(2) 视 听 刺 激 同时 呈现 
所 产生 的 Pip-and-Pop 效应 最 大 , 随 视听 刺激 呈现 时 间 间 隔 的 增加 Pip-and-Pop 效应 逐渐 减弱 
直至 消失 。 结 果 表 明 ， 视 听 时 、 空 一 致 性 对 Pip-and-Pop 效应 具有 调节 作用 ， 这 为 多 感觉 整 
合 在 产生 Pip-and-Pop 效应 中 的 作用 提供 了 证 据 。 


关键 词 ”Pip-and-Pop 效应 ， 视 听 空 间 一 致 性 ， 视 听 时 间 一 致 性 ， 动 态 视觉 搜索 范式 ， 眼 动 
技术 
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日 常生 活 中 , 我 们 每 时 每 刻 都 在 接收 大 量 来 自 不 同感 觉 通道 的 信息 。 在 复杂 多 变 的 环境 
中 寻找 物体 是 一 个 非常 耗 时 的 过 程 。 例 如 ,在 旅游 景点 和 朋友 们 走 散 时 ， 从 人 群 中 寻找 朋友 
会 消耗 一 定时 间 。 如 果 朋 友 一 边 挥手 一 边 大 喊 你 的 名 字 ， 那 么 找到 朋友 的 时 间 会 大 幅 缩减 ， 
寻找 朋友 这 一 过 程 实际 上 是 一 种 伴随 听觉 刺激 的 动态 视觉 搜索 过 程 。 Van der Burg 等 人 (2008) 
使 用 动态 视觉 搜索 范式 , 要 求 被 试 在 多 个 不 同 倾斜 角度 的 干扰 线段 中 搜索 垂直 或 水 平 的 目标 
线段 ， 搜 索 过 程 中 线段 颜色 不 断 进行 红 绿 变化 。 结 果 发 现 ,在 目标 线段 颜色 变化 的 同时 呈现 
一 个 纯音 听觉 刺激 ,会 提高 目标 线段 的 搜索 效率 ， 这 种 现象 被 称 为 Pip-and-Pop 效应 (Van der 
Burg et al., 2008). 

有 研究 认为 Pip-and-Pop 效应 产生 的 原因 
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Burg et al., 2008; Van der Burg et al., 2011)。 多 感觉 整合 (multisensory integration，MSD 是 指 来 
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多 感觉 整合 (Chamberland et al., 2016; Van der 
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自 不 同感 觉 通 道 的 信息 相互 作用 ， 并 整合 为 统一 、 连 贯 且 有 意义 的 知觉 过 程 (Talsma et al., 


2010; Tang et al., 2016; Van der Stoep et al., 2017). Van der Burg 团队 的 研究 发 现 ， 同步 呈现 的 
听觉 刺激 与 视觉 目标 颜色 变化 后 50ms 在 顶 枕 区 发 生 了 早期 的 多 感觉 整合 ， 并 且 这 一 早期 多 
感觉 整合 与 行为 学 上 的 Pip-and-Pop 效应 显著 相关 ， 即 早期 多 感觉 整合 越 大 ， 搜 索 效率 的 提 
高 越 大 。Van der Burg 等 人 认为 ， 通 过 早期 整合 将 听觉 与 视觉 目标 绑 定 ， 使 得 视觉 目标 在 众 
多 不 断 变化 的 刺激 中 凸显 出 来 , 更 好 地 捕获 注意 , 与 只 有 视觉 目标 条 件 相 比 搜索 效率 显著 提 


高 ， 所 以 多 感觉 整合 在 Pip-and-Pop 效应 中 有 着 关键 作用 (Van der Burg et al., 2008;Van der 
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Burg et al., 2011). 
然而 ,研究 发 现 ， 当 视觉 目标 不 存在 时 听觉 刺激 也 能 提高 搜索 效率 ， 所 以 研究 者 认为 视 
听 整 合并 不 能 充分 地 解释 Pip-and-Pop 效应 。 因 此 提出 了 另 一 种 解释 : 即 oddball 刺激 (奇异 


性 刺激 ) 吸 引 注意 导致 了 Pip-and-Pop 效应 (Ngo & Spence, 2012; Tsai & Yeh, 2013;Zou et al., 


2012)。Oddball 刺激 指 在 其 他 高 概率 刺激 中 出 现 的 低 概率 刺激 (Pariyadath & Eagleman, 2007; 


Tsai & Yeh, 2013), 视觉 搜索 中 突然 出 现 的 听觉 刺激 就 是 一 个 oddball 刺激 ,oddball 刺激 可 以 


更 有 效 地 吸引 注意 (Chastain & Cheal, 1999; Escera et al., 1998; Escera et al., 2002) ,研究 发 现 当 


视觉 目标 与 听觉 oddball 刺激 同时 呈现 时 ， 被 试 的 主观 知觉 时 间 会 延长 ， 即 被 试 主观 上 感知 


目标 刺激 的 时 间 变 长 了 ， 研 究 者 把 这 种 现象 称 为 “冰冻 效应 ”(freezing effect)(Vroomen & de 


Gelder, 2000;Tse et al., 2004)， 无 论 是 哪 种 通道 的 oddball 刺激 都 可 能 导致 这 种 效应 (Ngo & 


Spence, 2010b;Ngo & Spence, 2012). 

Pip-and-Pop 效应 产生 的 原因 是 多 感觉 整合 还 是 oddball 刺激 吸引 注意 仍然 存在 争议 。 以 
和 主 研究 表明 多 感觉 整合 遵循 两 个 原则 一 空间 原则 (the spatial rule) 和 时 间 原 则 (the temporal 
rule)， 即 当 来 自 不 同感 觉 通 道 的 信息 在 大 致 相近 的 空间 位 置 呈 现时 ， 多 感觉 整合 效应 最 大 


(Spence, 2013; Van der Stoep et al., 2017); 当 来 自 不 同感 觉 通 道 的 信息 在 大 致 接近 的 时 间 呈 现 
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时 , 多 感觉 整合 效应 最 大 (Fister et al., 2016; Stevenson et al., 2012)。 所 以 有 研究 通过 调控 空间 


一 致 性 与 时 间 一 致 性 来 探究 Pip-and-Pop 效应 产生 的 原因 是 否 是 多 感觉 整合 (Van der Burg et 


al., 2008; Ngo & Spence, 2010a; Zou et al., 2012)。 如 果 Pip-and-Pop 效应 遵循 空间 和 时 间 原 则 ， 
那么 Pip-and-Pop 效应 产生 的 原因 存在 多 感觉 整合 的 作用 ; 如 果 Pip-and-Pop 效应 不 遵循 空间 
和 时 间 原 则 , 那么 Pip-and-Pop 效应 产生 的 原因 
听觉 刺激 影响 了 视觉 搜索 效率 。 

一 方面 ， 前 人 有 关 视 听 刺 激 空间 一 致 性 对 Pip-and-Pop 效应 影响 的 研究 结果 并 不 一 致 。 


Ngo 和 Spence(2010) 研 究 发 现 与 无 效 空间 信息 线索 相 比 , 具有 空间 信息 的 听觉 刺激 会 提高 视 
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能 是 oddball 刺激 吸引 注意 ,， 即 突然 出 现 的 
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觉 搜索 的 效率 ， 即 视听 刺激 空间 一 致 性 影响 了 Pip-and-Pop 效应 。 因 此 ，Ngo 和 Spence 认为 
Pip-and-Pop 效应 是 视听 刺激 整合 引起 的 ， 空 间 位 置 越 一 致 ， 视 听 刺 激越 容易 进行 整合 ， 


Pip-and-Pop 效应 越 大 (Ngo & Spence, 2010a). 1E Fleming 等 人 (2020) 研 究 表明 ， 行 为 与 脑 电 
结果 均 显 示 视 听 刺 激 空间 位 置 一 致 与 否 对 Pip-and-Pop 效应 的 影响 差异 不 显著 ， 他 们 由 此 提 
出 空间 一 致 性 并 不 是 Pip-and-Pop 效应 产生 的 必要 条 件 ， 视 听 刺 激 整合 并 没有 起 到 重要 作用 
(Fleming et al., 2020)。 上 述 两 个 研究 结果 不 一 致 的 原因 可 能 与 刺激 在 空间 排列 上 的 差异 有 关 。 
Ngo 和 Spence(2010) 将 刺激 随机 排列 在 10X 10 的 隐形 网 格 中 ， 按 照 搜索 集 大 小 在 该 隐形 网 
格 上 的 随机 位 置 呈现 视觉 刺激 。Fleming 等 人 (2020) 虽 然 也 如 此 在 随机 位 置 上 呈现 视觉 刺激 ， 
但 他 们 缩小 了 搜索 区 域 且 增 加 了 干扰 线段 的 方向 , 同时 还 增加 了 人 机 距离 , 降低 了 视觉 上 的 
空间 关联 性 。 所 以 本 研究 为 了 更 好 地 建立 空间 关联 性 ， 将 视觉 搜索 区 域 分 为 左右 两 侧 (与 中 
心 点 有 明显 距离 )， 线 段 整 齐 地 排列 在 网 格 中 (以 搜索 集 36 为 例 ， 左 右 分 别 为 3X6 的 网 格 )， 
以 此 更 明确 地 操纵 空间 一 致 性 从 而 探究 视听 空间 一 致 性 如 何 影响 Pip-and-Pop 效应 。 
另 一 方面 ， 以 往 有 关 视 听 刺 激 时 间 一 致 性 对 Pip-and-Pop 效应 影响 的 研究 结果 也 是 不 


致 的 。Van der Burg 等 人 (2008) 使 用 动态 视觉 搜索 范式 ， 在 研究 中 设置 了 8 种 声音 目标 间隔 


(Tone-Target-Interval，TTD 条 件 ， 结 果 发 现 TTI X-100ms, -50ms, -25ms, Oms, 25ms, 100ms 
时 (0ms 为 同时 呈现 ， 负 数 为 听觉 刺激 提前 呈现 ， 正 数 为 滞后 呈现 )， 听 觉 刺 激 才 会 促进 对 视 
觉 目 标的 搜索 ， 视 听 刺 激 同时 呈现 时 的 促进 作用 最 大 ， 且 声音 目标 间隔 与 反应 时 之 间 呈 U 
型 函数 关系 ， 即 视听 刺激 呈现 的 时 间 一 致 性 越 高 ， 搜 索 越 快 。Van der Burg 等 人 认为 ， 同 时 
呈现 的 听觉 刺激 以 及 在 整合 时 间 窗 内 (-100ms~100ms) 呈 现 的 听觉 刺激 引发 的 搜索 效率 提高 


FT 是 由 于 跨 通 道 整合 增强 了 视觉 目标 的 凸显 性 (Van der Burg et al., 2008)。 但 也 有 研究 发 现 视听 


刺激 时 间 一 致 性 并 不 会 影响 Pip-and-Pop 效应 ，Zou 等 人 (2012) 比 较 了 Oms, -100ms 以 及 听 
觉 刺 激 随机 时 间 呈 现 三 种 时 间 条 件 ,发 现 这 三 种 条 件 都 会 促进 视觉 目标 的 搜索 效率 , 但 它们 
之 间 没 有 显著 差异 ， 因 此 Zou 等 人 (2012) 认 为 Pip-and-Pop 效应 是 无 空间 信息 的 听觉 刺激 引 
发 的 “冰冻 效应 ”所 致 ， 即 oddball 刺激 吸引 注意 的 作用 ， 无 论 听觉 刺激 何 时 呈现 都 会 促进 
视觉 搜索 ， 而 不 是 视听 刺激 整合 作用 的 结果 (Zou et al., 2012)。 

上 述 研究 使 用 的 搜索 集 大 小 不 同 , 在 搜索 集 为 48 和 60 的 研究 中 发 现 了 视听 时 间 一 致 性 
对 Pip-and-Pop 效应 的 影响 (Van der Burg et al., 2008;K6sem & van Wassenhove, 2012)， 在 搜索 
R 36 的 研究 中 没有 发 现 视听 时 间 一 致 性 对 Pip-and-Pop 效应 的 影响 (Zou et al., 2012)。 所 以 搜 
索 集 大 小 可 能 在 视听 时 间 一 致 性 影响 Pip-and-Pop 效应 的 过 程 中 起 着 调节 作用 。 此 外 ， 在 视 
听 空 间 一 致 性 影响 Pip-and-Pop 效应 的 研究 中 ， 搜 索 集 大 小 在 其 中 的 调节 作用 也 是 不 一 致 的 
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(Ngo & Spence, 2010a;Fleming et al., 2020)。 可 能 的 原因 是 在 搜索 集 较 小 的 条 件 下 知觉 负 蓓 较 


无 论 其 是 否 与 视觉 目标 空间 或 时 间 上 一 致 都 可 以 提高 视觉 搜索 效率 。 


低 , 只 要 听觉 刺激 存在 ， 


为 了 进一步 确定 这 个 问题 ， 


本 研究 引入 搜索 集 大 小 这 一 变量 , 通过 行为 与 眼 动 两 方面 数据 探 


究 在 不 同 知觉 负荷 下 视听 刺激 时 间 一 致 性 和 空间 一 致 性 对 Pip-and-Pop 效应 的 影响 。 
间 、 时 间 一 致 性 对 Pip-and-Pop 效应 的 影响 研究 结论 并 不 一 致 ， 视 
觉 搜索 任务 中 的 行为 反应 时 只 能 反映 听觉 刺激 是 否 提高 了 搜索 效率 , 而 眼 动 数据 可 以 根据 眼 


基于 上 述 视听 刺激 空 


跳 和 扫 视 等 反映 搜索 中 


小 , 平均 眼 跳 幅度 反映 在 眼 跳 前 被 试 获取 的 信息 量 ,从 而 揭示 听觉 


率 。 此 外 ， 平 均 注 视 时 间 可 以 衡量 是 否 有 冰冻 效应 产生 ， 从 而 说 明 Pip-and-Pop 效应 的 产生 
有 ,进而 可 以 探究 Pip-and-Pop 效应 的 产生 机 制 。 所 以 本 胡 
通过 两 个 实验 考察 以 下 两 个 问题 ，(1) 调 控 搜 索 


是 否 有 oddball 刺激 吸引 注意 的 作 上 月 
究 将 眼 动 技 术 运 用 到 动态 视觉 搜索 范式 中 ， 


集 大 小 和 听觉 刺激 呈现 


I 


的 实时 信息 处 理 过 程 。 具体 来 说 , 通过 平均 注视 次 数 反 映 知觉 负荷 大 


刺激 具体 如 何 提 高 搜索 效 


H 


位 置 ， 探 究 视听 刺激 空间 一 致 性 如 何 影响 Pip-and-Pop 效应 。(2) 调 控 
搜索 集 大 小 和 听觉 刺激 与 视觉 目标 的 间隔 时 间 ， 探 究 视 
Pip-and-Pop 效应 。 如 果 Pip-and-Pop 效应 产生 的 原 
遵循 空间 一 致 性 和 时 间 一 致 性 原则 , 即 视听 刺激 呈现 的 空间 位 置 


听 刺 激 时 间 一 致 性 如 何 影 啊 
因 是 多 感觉 整合 ， 那 么 Pip-and-Pop 效应 


越 一 致 , 产生 的 Pip-and-Pop 


效应 越 大 ;视听 刺激 呈现 的 时 间 越 一 致 ， 产 生 的 Pip-and-Pop 效应 越 大 。 如 果 Pip-and-Pop 
效应 产生 的 原因 是 oddball 刺激 吸引 注意 ， 那 么 无 论 空间 和 时 间 


2 实验 1: 视听 衬 


2.1 方法 
2.1.1 被 试 


刺激 都 应 影响 视觉 搜索 效率 。 


MSA, RAHAT oe 


间 一 致 性 对 Pip-and-Pop 效应 的 影响 


采用 G*Power toolbox 3.1.9.2 计算 实验 所 需 最 小 样本 量 (Erdfelder et al., 2009; Faul et al., 


2007)。 根 据 听 觉 刺 激 对 视觉 搜索 影响 的 研究 (Ngo & Spence, 2012)， 重 复 测量 方差 分 析 时 视 


听 空 间 一 致 性 的 效应 量 mp? = 0.43, 
Power (1-B err prob) 为 0.9， 计 算得 至 
足 ， 在 大 学 生 中 招募 被 试 32 名 ， 其 中 8 名 被 试 在 实验 中 有 过 多 用 眼 导 


设置 参数 I 类 错误 的 概率 a error prob 为 0.05， 检 验 效能 
I 最 小 样本 量 为 24。 为 避免 眼 动 数据 缺失 导致 样本 量 不 


致 数据 缺失 被 剔除 ， 


实际 样本 量 为 24 人 (男生 名， 女生 19 名 )， 年 龄 19 至 28 岁 ， 平 均 年 龄 22.5 岁 (SD = 2.3)。 


所 有 被 试 均 为 右 利 手 ， 


上 听力、 视力 或 矫正 视力 正常 ， 无 色盲 色弱 。 


在 实验 完成 后 被 试 会 获得 


相应 的 报酬 。 
2.1.2 实验 仪器 和 材料 


实验 采用 Eyelink 1000 Plus 红外 反射 系统 眼 动 记录 仪 (SR Research，Canada)， 记 录 被 试 
右 眼 眼 动 数据 , 采样 频率 为 1000Hz。 视 觉 刺 激 呈 现在 Dell 液晶 显示 器 上 ， 型 号 为 P1914SF， 
屏幕 可 视 尺寸 为 19 英寸 ， 屏幕 分 辩 率 为 1024X768 像素 ,刷新 率 为 75Hz。 被 试 距离 电脑 屏 


幕 75cm。 实 验 程 序 使 用 Matlab2016a 软件 和 Psychtoolbox、Eyelink Toolbox 编制 。 


实验 1 视觉 刺激 如 图 1 所 示 , 由 多 个 干扰 线段 (倾斜 方向 分 别 为 22.5°, 45°, 67.5°, 112.59, 
135°, 157.590 1 个 目标 线段 (水 平 或 者 垂直 ， 目 标 方向 在 试 次 中 平衡 ) 组 成 。 所 有 线段 一 
为 红色 (13.9cdmm2)， 另 一 半 为 绿色 (46.4cdm2)， 呈 现在 黑色 (0.4cdm2) 背 景 的 屏幕 上 ， 每 个 线 
段 大 小 为 0.57°x0.17*。 实 验 中 有 三 个 搜索 集 ， 分 别 为 36，48，60( 图 1 以 36 为 例 )。 视 觉 刺 
激 分 成 相等 的 两 个 矩阵 ， 呈 现在 屏幕 左右 两 侧 (搜索 集 为 36 时: 每 侧 3.4°x8.5°; 搜索 集 为 
48 时 : 每 侧 5.1°x8.5°; 搜索 集 为 60 时 : 每 侧 6.8°x8.5°)， 两 侧 刺 激 到 中 央 注 视点 水 平 距离 
为 3.74°。 实 验 过 程 中 , 线段 不 断 进行 红 绿 颜色 变化 ,每 次 变化 的 线段 数量 不 同 (搜索 集 为 36 
时 ， 每 次 1、3 或 5 个 线段 颜色 随机 变化 ， 搜 索 集 为 48 时 ， 每 次 1、4 或 7 个 线段 颜色 随机 
变化 ; 搜索 集 为 60 时 , 每 次 1、5 或 9 个 线段 颜色 随机 变化 )。 变 化 间隔 为 50、100 或 者 150ms， 
三 种 变化 间隔 随机 出 现 ， 共 有 九 个 变化 间隔 (一 个 变化 周期 )， 以 此 避免 视觉 刺激 在 进行 连续 
变化 时 有 很 高 的 规律 性 。 目 标 线 段 颜色 变化 遵循 以 下 3 种 规则 : (1) 目 标 线段 颜色 单独 变化 ， 
并 且 每 个 周期 只 能 改变 一 次 , 目标 线段 颜色 变化 的 平均 频率 为 1.11Hz( 即 每 900ms 变化 一 次 ); 
(2) 目 标 颜色 变化 之 前 是 150ms 的 变化 间隔 ， 目 标 颜 色 变化 之 后 是 100ms 的 变化 间隔 。 由 于 
视听 整合 的 时 间 窗 大 约 为 土 100ms， 在 目标 变化 前 后 的 时 间 间 隔 如 此 设置 以 确保 明确 的 视听 
整合 ，(3) 每 个 周期 的 前 三 个 间隔 目标 线段 颜色 不 会 变化 。 

听觉 刺激 为 1000Hz 的 纯音 (65 dB，60ms， 包 括 Sms 淡 入 和 5ms 淡出 的 时 间 )， 通 过 位 
于 屏幕 后 左右 两 侧 的 扬声器 呈现 。 听 觉 刺 激 的 呈现 分 四 种 情况 ( 见 图 1): (1) 无 声音 条 件 : 不 
呈现 听觉 刺激 ; (2) 同 侧 条 件 ( 提 供 有 效 空间 信息 条 件 ): 听觉 刺激 与 视觉 目标 同 侧 呈 现 ， 即 视 
觉 目标 在 右 侧 ， 听 觉 刺激 从 右 声 道 发 出 ， 视 觉 目标 在 左 侧 ， 听 觉 刺 激 从 左 声 道 发 出 ，(3) 对 
侧 条 件 (提供 无 效 空间 信息 条 件 ): 听觉 刺激 与 视觉 目标 对 侧 呈 现 ， 即 视觉 目标 在 右 侧 ， 听 觉 
刺激 从 左 声 道 发 出 ;视觉 目标 在 左 侧 ， 听 觉 刺 激 从 右 声 道 发 出 ; (4) 双 侧 条 件 ( 不 提供 空间 信 
息 条 件 ): 无 论 视觉 刺激 在 左 侧 还 是 右 侧 ， 听 觉 刺 激 都 从 双 声 道 发 出 ， 形 成 一 个 在 中 间 位 置 
的 听觉 刺激 。 
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2.1.3 实验 设计 和 程序 


实验 1 采用 3( 搜 索 集 大 小 : 36，48，60)x4( 视 听 空 间 一 致 性 : 无 声音 ， 同 侧 ， 对 侧 ， 双 


侧 ) 两 因素 被 试 内 实验 设计 。 在 正式 实验 之 前 先进 行 听觉 定位 测试 ， 让 被 试 辨别 听觉 刺激 的 
方向 , 正确 区 分 来 自 不 同 空间 位 置 的 声音 后 继续 进行 实验 。 为 了 减少 头 动 以 获取 更 准确 的 眼 
动 数据 ， 实 验 开 始 前 ， 指 导 被 试 前 额 抵 住 前 额 靠 ， 下 巴 放 在 下 巴 托 上 ， 进 行 九 点 校准 。 校 准 


成 后 ， 开 始 实验 。 


具体 实验 流程 如 图 1 所 示 ， 每 个 试 次 呈现 之 前 ， 屏 幕 中 央 会 呈现 一 个 漂移 校准 点 ， 校 准 


成 功 后 校准 点 消失 ， 然 后 呈现 中 央 注 视点 ，1000ms 后 出 现 搜索 屏 ， 要 求 被 试 既 快 又 准 的 找 
到 目标 线段 ， 并 通过 按键 (z 键 或 m 键 ) 反 应 判断 目标 线段 是 垂直 还 是 水 平 ， 按 键 在 被 试 之 间 


平衡 。 如 果 9 个 间隔 呈现 完 之 后 被 试 没有 按键 反应 ， 则 再 次 循 3 


呈现 实验 刺激 ， 直 到 被 试 做 


到 | 


出 反应 再 进入 下 一 个 斌 次。 实验 要 求 被 试 色 略 听 沉 刺激 。 


b 
同 侧 条 件 


a m 
目标 


对 侧 条 件 


\ l EE 


1000ms 注 视点 双 侧 条 件 


图 1 实验 1 流程 图 和 视听 刺激 呈现 条 件 图 


注 : 图 1a 为 实验 1 流程 图 ， 首 先进 行 漂移 校准 ， 校 准 后 呈现 中 央 注视 点 ，1000ms 后 呈现 搜索 屏 。 搜 索 屏 以 视听 刺激 条 件 中 的 无 


声音 条 件 为 例 ， 视 觉 刺激 以 搜索 集 36 为 例 ， 包 括 35 个 干扰 线段 ，1 个 目标 线段 。 图 lb 分 别 为 视听 刺激 条 件 中 的 同 侧 条 件 、 对 
侧 条 件 、 双 侧 条 件 (详情 阅读 方法 部 分 )。 
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正式 实验 包括 6 组 ， 每 种 搜索 集 2 组 ， 每 组 有 96 个 试 次 ， 四 种 视听 空间 一 致 性 条 件 在 
每 组 中 随机 呈现 ， 共 576 个 trial。 每 组 之 前 都 有 一 个 练习 实验 ， 包 括 20 个 试 次 。 组 之 间 允 
许 被 试 休息 ， 每 组 开始 之 前 都 要 进行 九 点 校准 。 整 个 实验 大 约 持续 90 分 钟 。 

2.1.4 数据 分 析 

正确 率 (Accuracy) 指 被 试 正 确 完成 试 次 的 概率 。 反 应 时 (Reaction time) 指 搜索 屏 呈 现 到 被 
试 做 出 反应 之 间 的 时 间 间 隔 。 搜 索 效 率 指 在 正确 反应 的 基础 上 ， 反 应 的 快慢 。 反 应 时 越 长 ， 
说 明 被 试 找到 目标 的 速度 越 慢 , 搜索 效率 越 低 ; 反应 时 越 短 , 说 明 被 试 找到 目标 的 速度 越 快 ， 
搜索 效率 越 高 。 

反应 时 和 正确 率 只 能 说 明 听 觉 刺 激 能 否 提 高 搜索 效率 , 为 了 进一步 探究 听觉 刺激 具体 如 
何 影响 搜索 效率 ， 根 据 以 往 研究 选择 了 三 个 眼 动 指标 (Zou et al., 2012): 平均 注视 次 数 
(Mean fixation number) 指 落 入 当前 兴趣 区 注视 点 的 次 数 。 该 指标 可 以 有 效 地 反映 知觉 负荷 大 
小 ， 知 觉 负 荷 越 大 ， 平 均 注 视 次 数 越 多 ， 搜 索 效 率 越 低 ，@ 平 均 眼 跳 幅 度 (Mean saccade 
amplitude) 指 从 当前 注视 到 下 一 次 注视 之 间 的 距离 。 眼 跳 幅 度 越 大 ， 说 明 被 试 在 眼 跳 前 获取 
的 信息 越 多 ,搜索 效率 越 高 ; @ 平 均 注 视 时 间 (Mean fixation duration) 指 落 入 当前 兴趣 区 所 有 
注视 点 的 注视 时 间 的 平均 。 该 指标 反应 整体 的 加 工 过 程 ，Zou 等 (2012) 用 该 指标 衡量 冰冻 效 
应 ， 探 究 呈 现 的 听觉 刺激 是 否 拓展 了 平均 注视 时 间 。 

为 了 考察 视听 空间 一 致 性 和 搜索 集 对 Pip-and-Pop 效应 的 影响 ， 对 所 有 指标 都 进行 了 
3( 搜 索 集 大 小 : 36，48，60)x4( 视 听 空 间 一 致 性 : 无 声音 ， 同 侧 ， 对 侧 ， 双 侧 ) 的 重复 测量 方 
差分 析 。 

2 结果 与 分 析 

剔除 反应 错误 以 及 反应 过 快 和 过 慢 的 试 次 ,反应 过 快 指 目标 首次 变化 前 被 试 就 已 经 做 出 

反应 的 试 次 ， 反 应 过 慢 指 被 试 在 目标 变化 了 10 次 及 以 上 依旧 没有 做 出 反应 的 试 次 (Van der 


Burg et al., 2008)。 最 终 剔 除 试 次 占 总 试 次 的 5.5%。 


2.2.1 正确 率 

所 有 被 试 的 正确 率 均 达到 98% 以 上 ， 正 确 率 方差 分 析 结 果 发 现 搜索 集 大 小 主 效应 不 显 
著 , F(2, 46)=0.74, p = 0.48; 视听 刺激 空间 一 致 性 主 效应 不 显著 , F(3, 69) = 0.25, p= 0.86; 
二 者 交互 作用 不 最 著 ，F(6，138) = 0.66,，p = 0.68。 各 个 实验 条 件 下 的 正确 率 均 较 高 。 
2.2.2 反应 时 

反应 时 方差 分 析 结 果 发 现 搜 索 集 大 小 主 效应 显著 , F, 46) = 5.34, p= 0.008, mp2= 0.19, 
进一步 分 析 表 明 ， 搜索 集 为 60 条 件 的 反应 时 (3.5s) 显 著 长 于 搜索 集 为 48 条 件 (3.3s, p = 0.03) 
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和 搜索 集 为 36 条 件 的 反应 时 (3.28， = 0.004)， 后 两 者 之 间 无 显著 差异 = 0.47)。 视 听 刺 激 


空间 一 致 性 主 效应 显著 ，F(3，69) = 11.86，P < 0.001，mp2 = 0.34， 进 一 步 分 析 表 明 ， 同 侧 条 


件 的 反应 时 (3.07s) 最 短 , 并 且 显著 短 于 双 侧 条 件 (3.27s, p = 0.006)、 对 侧 条 件 (3.50s, p < 0.001) 
以 及 无 声音 条 件 (3.43s，p < 0.001) 的 反应 时 。 双 侧 条 件 的 反应 时 也 显著 短 于 对 侧 条 件 (p = 
0.005) 和 无 声音 条 件 (p = 0.038) 的 反应 时 。 对 侧 条 件 的 反应 时 最 长 ， 并 且 和 无 声音 条 件 无 显 
HAP = 0.35)。 搜 索 集 大 小 和 视听 空间 一 致 性 的 交互 作用 不 显著 ，F(6，138)= 0.46, p= 


0.84( 见 图 2a)。 
2.2.3 眼 动 数据 
(1) 平均 注视 次 数 
平均 注视 次 数 方差 分 析 结 果 发 现 搜索 集 大 小 主 效应 显著 ，FC2，46) = 3.44， p=0.04, 
np?= 0.13， 进 一 步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 注视 次 数 (14.20 次 ) 显 著 多 于 搜索 集 为 36 
+ 条 件 (13.11 次 ，p = 0.01) 的 注视 次 数 。 搜 索 集 为 48 条 件 (13.57 次 ) 的 注视 次 数 与 搜索 集 为 60 
= 条 件 = 0.183) 和 搜索 集 为 36 条 件 (p = 0.261) 的 注视 次 数 都 无 显著 差异 。 视 听 刺 激 空间 一 至 


性 主 效应 显著 ，F(3，69)=7.45,，p < 0.001，m2 = 0.25， 进 一 步 分 析 表 明 ， 同 侧 条 件 的 注视 


pa 


次 数 (12.77 次 ) 最 少 , 并且 显 著 少 于 双 侧 条 件 (13.45 次 ,p = 0.02)、 对 侧 条 件 (14.16 次 ,p = 0.002) 
以 及 无 声音 条 件 (14.12 次 , p = 0.003) 的 注视 次 数 。 双 侧 条 件 的 注视 次 数 显著 少 于 对 侧 条 件 (p 
= 0.036) 以 及 无 声音 条 件 (yp = 0.048) 的 注视 次 数 。 对 侧 注 视 次 数 最 多 ， 并 且 和 无 声音 条 件 无 


显著 差异 (p = 0.90)。 搜 索 集 大 小 和 视听 空间 一 致 性 的 交互 作用 不 显著 ，F(6，138)=0.92, p 


= 0.48( 见 图 2b)。 

(2) 平均 眼 跳 幅 度 

平均 眼 跳 幅度 方差 分 析 结 果 发 现 搜 索 集 大 小 主 效 应 显著 ，F(2，46) = 63.31, p<0.001, 
mp2= 0.73， 进 一 步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 眼 跳 幅 度 (4.96°) 显 著 大 于 搜索 集 为 48 条 件 
(4.50°*，p < 0.001) 和 搜索 集 为 36 条 件 (4.21*，p < 0.001) 的 眼 跳 幅度 ， 搜 索 集 为 48 条 件 的 眼 
跳 幅 度 显 著 大 于 搜索 集 为 36 条 件 (p < 0.001) 的 眼 跳 幅度 。 视听 空间 一 致 性 主 效应 显著 , FB, 


69) = 5.63，p = 0.002，mp2 = 0.20， 进 一 步 分 析 表 明 ， 同 侧 条 件 的 眼 跳 幅 度 (4.64?) 最 大 ， 且 显 


著 大 于 双 侧 条 件 (4.55°?，p = 0.017)， 对 侧 条 件 (4.54*，p = 0.028) 以 及 无 声音 条 件 (4.49"，P < 
0.001) 的 眼 跳 幅度 ， 双 侧 条 件 与 对 侧 条 件 (p = 0.875) 和 无 声音 条 件 (p = 0.154) 无 显著 差异 ， 对 
侧 条 件 与 无 声音 条 件 也 无 显著 差异 (p = 0.156). 

搜索 集 大 小 和 视听 空间 一 致 性 的 交互 作用 显著 , F(6, 138)=5.61, p<0.001, np?= 0.20。 
简单 效应 分 析 发 现 , 只 有 在 搜索 集 为 60 RETF, 不 同 视听 刺激 空间 一 致 性 条 件 有 显著 差异 ， 
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FB, 21)= 13.05,，p < 0.001，mp2= 0.65。 同 侧 条 件 的 眼 跳 幅度 (5.149) 最 大 ， 并 且 显 闭 大 于 对 
侧 条 件 (4.87*，p < 0.001) 以 及 无 声音 条 件 (4.80",， = 0.001) 的 眼 跳 幅 度 ， 与 双 侧 条 件 (5.03。， 
p=0.34) 的 眼 跳 幅度 无 显著 差异 。 双 侧 条 件 的 眼 跳 幅 度 也 显著 大 于 无 声音 条 件 (p = 0.004) 和 
对 侧 条 件 = 0.018) 的 眼 跳 幅度 。 无 声音 条 件 的 眼 跳 幅 度 最 小 ， 和 对 侧 条 件 无 显著 差异 (p = 
0.42)。 在 搜索 集 为 48 和 搜索 集 为 36 条 件 下 ， 不 同 视听 刺激 空间 一 致 性 条 件 无 显著 差异 ， 


F(3, 21)=2.37, p=0.099; F(3, 21)=1.24, p= 0.32( 见 图 2c). 
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图 2 实验 1 结果 图 


注 ， 图 a、b、c、d 分 别 为 不 同 条 件 下 的 反应 时 (s)、 平 均 注 视 次 数 (次 )、 平 均 眼 跳 幅度 ( 度 )、 平 均 注 视 时 间 (ms) 的 结果 。 
(3) 平均 注视 时 间 


平均 注视 时 间 方 差分 析 结 果 发 现 搜 索 集 大 小 主 效应 不 显著 ，F(2，46)=0.51, p=0.60; 


视听 刺激 空间 一 致 性 主 效应 不 显著 ，F3，69) = 1.52, p = 0.22;， 二 者 交互 作用 不 显著 ，F(6， 


138) =0.87, p=0.52. (ALA 2d). 


本 实验 进一步 分 析 了 四 种 条 件 下 (视觉 目标 出 现在 同一 位 置 上 ) 的 眼 动 轨迹 和 热点 图 (以 
搜索 集 60 为 例 ， 见 图 3)。 与 无 声音 的 基线 条 件 相 比 ， 同 侧 条 件 下 的 搜索 效率 最 高 ， 注 视 次 
数 最 少 ， 双 侧 条 件 次 之 。 虽然 对 侧 条 件 的 注视 次 数 比 无 声音 的 注视 次 数 少 一 些 , 但 相 比 于 其 


他 两 个 条 件 ， 注 视 次 数 明 显 增多 ， 搜 索 效 率 明 显 降低 。 


司 侧 条 件 双 侧 条 件 cb A 


对 侧 条 件 vs 无 声音 条 件 双 侧 条 件 vs 无 声音 条 件 同 侧 条 件 vs 对 侧 条 件 


图 3 实验 1 眼 动 轨迹 和 热点 图 


注 : 图 3a 分 别 为 四 种 声音 条 件 的 眼 动 轨迹 图 ， 其 中 黄色 线路 代表 眼 动 轨迹 ， 小 圆圈 代表 注视 次 数 。 图 3b 为 各 个 条 件 之 间 对 比 
的 差异 热点 图 ， 其 中 每 个 热点 图 中 vs 左 侧 条 件 为 蓝 色 ， 右 侧 条 件 为 红色 。 


2.3 讨论 

实验 1 通过 操纵 搜索 集 大 小 与 听觉 刺激 呈现 位 置 ， 考 察 视听 空间 一 致 性 对 Pip-and-Pop 
效应 的 影响 。 结 果 发 现 ， 与 无 声音 的 基线 条 件 相 比 ， 同 侧 条 件 下 的 反应 时 最 短 ， 搜 索 过 程 中 
的 平均 注视 次 数 最 少 , 平均 眼 跳 幅度 最 大 ,表明 同 侧 条 件 下 的 搜索 效率 最 高 ， 即 同 侧 条 件 所 
产生 的 Pip-and-Pop 效应 最 大 ; 其 次 双 侧 条 件 也 产生 了 Pip-and-Pop 效应 , 但 产生 的 效应 比 同 
侧 条 件 弱 ; 而 对 侧 条 件 在 上 述 指 标 中 与 无 声音 条 件 无 显著 差异 ， 即 对 侧 条 件 下 没有 发 现 
Pip-and-Pop 效应 。 实 验 结果 表明 ， 视 听 刺 激 空 间 一 致 性 对 Pip-and-Pop 效应 产生 了 影响 ， 视 
听 刺 激 在 空间 位 置 上 越 一 致 ， 所 产生 的 Pip-and-Pop 效应 越 大 。 

同 侧 条 件 下 ， 当 听觉 刺激 从 目标 侧 声 道 发 出 ， 在 听觉 刺激 的 有 效 空 间 信息 的 作用 下 , 被 
试 可 以 直接 定位 到 目标 侧 进行 搜索 , 在 目标 侧 通过 少量 注视 ,大 幅度 眼 跳 快速 地 搜索 到 目标 
线段 ， 搜 索 时 间 短 ， 效 率 高 ， 所 以 产生 的 Pip-and-Pop 效应 最 大 。 这 说 明 听 觉 刺 激 可 能 被 当 
作 提 示 线 索 , 从 而 导致 搜索 效率 的 提高 。 但 听觉 刺激 引导 被 试 到 同 侧 后 并 没有 立即 定位 到 目 
标 位 置 ， 在 接 下 来 的 搜索 过 程 中 ,听觉 刺 激 仍然 起 到 增强 视觉 目标 变化 凸显 性 的 作用 ， 因 为 
在 双 侧 条 件 下 ， 即 使 没有 提示 线索 的 作用 ， 也 发 现 了 Pip-and-Pop 效应 。 所 以 可 能 是 听觉 刺 
激 的 提示 及 其 与 视觉 目标 整合 的 共同 作用 导致 搜索 效率 的 提高 ， 产 生 Pip-and-Pop 效应 。 而 
对 侧 条 件 下 ， 当 听觉 刺激 从 非 目 标 侧 声 道 发 出 ,在 听觉 刺激 的 无 效 空间 信息 作用 下 ， 被 试 先 
在 非 目 标 侧 进行 大 量 搜索 后 再 回 到 目标 侧 搜索 , 在 非 目标 侧 进行 多 次 注视 ， 眼 跳 幅 度 不 断 缩 
小 进行 细致 搜索 ， 没 有 发 现 目标 线段 后 再 回 到 目标 侧 进行 搜索 ， 相 比 于 同 侧 条 件 ， 对 侧 条 件 
在 非 目标 侧 的 无 效 搜索 产生 了 搜索 成 本 , 通过 两 个 条 件 的 注视 次 数 差 异 热点 图 也 可 以 明显 地 


bea 


a 


发 现 对 侧 条 件 在 非 目标 侧 上 的 搜索 成 本 ( 见 图 3)， 所 以 同 侧 条 件 的 搜索 效率 显著 高 于 对 侧 条 
件 。 以 往 研究 发 现 与 不 提供 空间 信息 的 听觉 刺激 相 比 , 提供 空间 信息 的 听觉 刺激 能 够 减少 被 
试 辨别 和 检测 目标 的 潜伏期 (Perrott et al., 1990)。 因 此 ， 听 觉 线 索 和 视觉 目标 在 空间 位 置 上 
一 致 可 以 有 效 的 将 被 试 的 空间 注意 指向 视觉 目标 ,更 加 利于 被 试 搜索 到 视觉 目标 。 此外， 也 
究 发 现 来 自 不 同 通 道 的 刺激 位 置 接近 时 , 产生 的 多 感觉 相互 作用 最 强 ; 不 同 通道 的 刺激 


之 间 空 间距 离 增加 时 多 感觉 相互 作用 减弱 (Lewald et al., 2001; Slutsky & Recanzone, 2001; 


or 


Soto-Faraco et al., 2003; Stein & Stanford, 2008)。 综 上， 本 实验 中 的 同 侧 条 件 可 能 是 听觉 刺激 
的 提示 作用 和 视 、 听 刺激 方位 一 致 产生 了 较 强 的 多 感觉 相互 作用 , 二 者 共同 促进 了 搜索 效率 ， 
所 以 产生 的 Pip-and-Pop 效应 最 大 ， 而 对 侧 条 件 可 能 是 听觉 刺激 的 无 效 提示 作用 和 两 个 通道 
刺激 方位 不 一 致 ， 距 离 增 大 ， 多 感觉 相互 作用 减弱 ， 所 以 不 足以 产生 Pip-and-Pop 效应 。 
实验 中 的 双 侧 条 件 也 产生 了 Pip-and-Pop 效应 ， 因 为 当 听 觉 刺 激 从 双 声 道 发 出 ， 形 成 了 
无 空间 信息 的 听觉 刺激 , 无 空间 信息 的 听觉 刺激 和 视觉 目标 同步 呈现 时 , 听觉 刺激 促进 了 视 


a 


觉 目 标的 识别 (Giard & Peronnet, 1999; Ngo & Spence, 2012; Yang et al., 2014)。 研 究 中 对 目标 


识别 的 促进 可 能 是 多 感觉 整合 的 促进 效应 (multisensory performance improvement effects)， 类 
似 于 以 往 研 究 中 的 元 余 信 号 效应 (redundant signals effect, RSE)(Mishler & Neider, 2016; 


Mishler & Neider, 2018)， 即 个 体 对 多 通道 刺激 的 反应 比 单 通道 刺激 反应 更 加 快速 和 准确 (van 


den Brink et al., 2014; Van der Stoep et al., 2015)。 以 往 研 究 也 发 现 多 感觉 整合 后 的 刺激 比 单 通 
道 刺 激 更 容易 吸引 注意 (Lunn etal., 2019)。 此 外 ，Zou 等 (2012) 研 究 发 现 ， 当 同步 呈现 听觉 
刺激 时 ， 与 非 目标 侧 相 比 ， 目 标 侧 的 注视 次 数 更 多 , 说 明 被 试 更 可 能 拒绝 没有 视觉 目标 的 一 
T 侧 ,并且 快速 的 将 眼 跳 指向 目标 所 在 的 一 侧 (Zou et al., 2012)。 虽然 双 侧 条 件 下 的 听觉 刺激 没 
提供 有 效 空间 信息 , 但 双 通道 的 整合 促进 作用 和 双 通 道 刺激 吸引 更 多 注意 使 搜索 效率 提高 ， 
无 空间 信息 的 听觉 刺激 对 于 眼 动 的 调节 也 可 以 使 搜索 效率 提高 , 从 而 产生 Pip-and-Pop 效应 。 

综 上 所 述 ，Pip-and-Pop 效应 是 通过 减少 注视 次 数 ， 增 加 眼 跳 幅度 ， 进 而 缩短 搜索 时 间 
产生 的 。 实 验 1 无 论 是 反应 时 结果 还 是 眼 动 指标 结果 都 表明 ， 视 听 刺 激 空间 一 致 性 对 
Pip-and-Pop 效应 产生 了 影响 ， 视 听 刺 激 在 空间 位 置 上 越 一 致 ， 所 产生 的 Pip-and-Pop 效应 越 
大 。 


3 实验 2: 视听 时 间 一 致 性 对 Pip-and-Pop 效应 的 影响 

实验 2 的 目的 是 考察 Pip-and-Pop 效应 是 否 遵 循 时 间 原 则 ,， 即 时间 一 致 性 对 Pip-and-Pop 
效应 是 否 具有 调节 作用 。 
3.1 方法 
3.1.1 被 试 


采用 G*Power toolbox 3.1.9.2 计算 实验 所 需 最 小 样本 量 (Erdfelder et al., 2009; Faul et al., 


2007)。 根据 听觉 刺激 对 视觉 搜索 影响 的 研究 (Van der Burg et al., 2008), 重复 测量 方差 分 析 时 
视听 时 间 一 致 性 的 效应 量 np? = 0.53, 设置 参数 I 类 错误 的 概率 a error prob 为 0.05, 检验 效能 
Power (1-B err prob) 为 0.9， 计 算得 到 最 小 样本 量 为 24。 为 避免 眼 动 数据 缺失 导致 样本 量 不 
足 ， 在 大 学 生 中 招募 被 试 35 名 ， 其 中 8 名 被 试 在 实验 中 有 过 多 脖 眼 导致 数据 缺失 被 剔除 ， 
寺 实际 样本 量 为 27 人 (男生 5 名 ,女生 22 名 )， 年 龄 18 至 25 岁 ， 平均 年 龄 20.7(SD=2.4)。 所 
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应 的 报酬 。 
3.1.2 实验 仪器 和 材料 
实验 仪器 同 实验 1。 视 觉 刺激 材料 有 两 点 不 同 于 实验 1: 第 一 ， 本 实验 中 搜索 集 大 小 为 
36 和 60, 由 于 实验 1 中 只 在 平均 眼 跳 幅 度 这 个 指标 上 发 现 了 搜索 集 48 与 36 和 60 有 显著 差 
异 ， 而 反应 时 、 平 均 注视 次 数 以 及 平均 注视 时 间 上 均 无 显著 差异 ， 所 以 取消 了 搜索 集 为 48 
的 条 件 。 第 二 ,在 听觉 刺激 与 视觉 目标 变化 不 一 致 呈现 条 件 下 ， 为 了 使 听觉 刺激 与 视觉 干扰 
= 刺激 的 变化 同步 呈现 ， 将 本 实验 中 的 线段 变化 间隔 由 实验 1 中 的 SOms. 100ms, 150ms 三 种 
G 改 为 100ms 一 种 变化 间隔 。 
听觉 刺激 材料 同 实验 1。 听觉 刺激 与 视觉 目标 颜色 变化 之 间 的 时 间 间 隔 (TTI:tone - target 
interval) 6 种 : (1) 无 声音 条 件 : 不 呈现 听觉 刺激 ， (2)TTI=-200ms 条 件 : 听觉 刺激 先 于 视 
觉 目 标 颜 色 变化 200ms 呈现 ; (3)TTI= -100ms 条 件 : 听觉 刺激 先 于 视觉 目标 颜色 变化 100ms 
EI; (ATTI = 0ms 条 件 : 听觉 刺激 与 视觉 目标 颜色 变化 同步 呈现 ;，(5)TTI = 100ms 条 件 : 
听觉 刺激 晚 于 视觉 目标 颜色 变化 100ms 呈现 ; (OTTI = 200ms 条 件 : 听觉 刺激 晚 于 视觉 目标 


颜色 变化 200ms 呈现 。 


3.1.3 实验 设计 和 程序 


实验 采用 2( 搜 索 集 大 小 : 36，60)X6( 视 听 时 间 一 致 性 : 无 声音 条 件 ，-200ms，-100ms， 


0ms，100ms，200ms) 两 因素 被 试 内 实验 设计 。 实 验 具体 流程 如 图 4a 所 示 ， 与 实验 1 的 实验 


流程 完全 一 致 。 正 式 实验 包括 12 组 ， 每 种 搜索 集 大 小 和 视听 刺激 时 间 一 致 性 条 件 分 别 在 不 
同 组 中 呈现 ， 每 组 有 48 个 试 次 ， 共 576 个 试 次 。 每 组 之 前 都 有 12 个 练习 试 次 。 组 间 人 允许 被 


试 休息 ， 整 个 实验 大 约 持续 90 分 钟 。 
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图 4 实验 2 流程 和 视听 刺激 条 件 图 
注 : 图 4a 为 实验 2 流程 图 ， 首 先进 行 漂移 校准 ， 校 准 后 呈现 中 央 注 视点 ，1000ms 后 呈现 搜索 屏 。 搜 索 屏 以 视听 刺激 条 件 中 的 无 
声音 条 件 为 例 ， 视 觉 刺 激 以 搜索 集 36 为 例 ， 包 括 35 个 干扰 线段 ，1 个 目标 线段 。 图 4b 是 6 种 TII( 听 觉 刺 激 与 视觉 刺激 之 间 的 
if Ta] HJ: tone-target-interval) 条 件 ， 其 中 黑色 线段 是 指 目标 线段 颜色 变化 ， 灰 色 线 段 是 指 干 扰 线 段 颜色 变化 ， 小 喇叭 是 指 发 出 
听觉 刺激 (详情 阅读 方法 部 分 )。 


3.1.4 数据 分 析 
选取 指标 同 实验 1。 为 了 考察 视听 时 间 一 致 性 和 搜索 集 大 小 对 Pip-and-Pop 效应 的 影响 ， 


对 所 有 指标 都 进行 了 2( 搜 索 集 大 小 : 36, 60)X6(TTI: 无 声音 , -200ms, -100ms, 0ms, 100ms， 


200ms) 的 重复 测量 方差 分 析 。 
3.2 结果 与 分 析 
数据 剔除 标准 同 实验 1。 最 终 剔 除 试 次 占 总 试 次 的 2%。 
3.2.1 正确 率 
所 有 被 试 正确 率 均 达到 98% 以 上 , 正确 率 方差 分 析 结 果 发 现 搜索 集 大 小 主 效应 不 显著 ， 


F(1，26) =0.49， = 0.49; TT] 主 效应 不 显著 ，F(5，130) = 0.89， = 0.49; 二 者 交互 作用 


不 显著 ，F(5，130) = 1.64,， p = 0.15。 各 个 实验 条 件 下 的 正确 率 均 较 高 。 
3.2.2 反应 时 

反应 时 方差 分 析 结 果 发 现 搜 索 集 大 小 主 效应 显著 , F(1, 26) = 102.81, p< 0.001, np?= 0.80, 
进一步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 反应 时 (4.61s) 显 著 长 于 搜索 集 为 36 条 件 (2.82s) 的 反应 


时 ;TTI 主 效应 显著 ，F(5，130) = 8.91， p < 0.001，m2= 0.26， 进 一 步 分 析 表 明 ，TTI 为 


0ms(2.73s) 时 ， 反 应 时 最 短 ， 并 显著 短 于 其 他 5 种 TTI 条件 (ps < 0.001)。 其 次 是 -100ms 条 件 


(3.26s, p = 0.001) 和 100ms 条 件 (3.44s，p = 0.021) 的 反应 时 都 显著 短 于 无 声音 条 件 (4.40s) 的 


反应 时 ; -200ms 条 件 (3.85s，p = 0.174) 和 200ms 条 件 的 反应 时 (4.60s，p = 0.744) 与 无 声音 条 
件 的 反应 时 无 显著 差异 ; -200ms 条 件 的 反应 时 显著 长 于 -100ms 条 件 = 0.001) 的 反应 时 ， 
200ms 条 件 的 反应 时 显著 长 于 100ms 条 件 (p = 0.001) 的 反应 时 。 


搜索 集 大 小 与 TT 的 交互 作用 显著 ，F(5，130) = 3.96, p= 0.002，mp2= 0.13， 简 单 效 应 


分 析 发 现 ， 两 种 搜索 集 条 件 下 TTI 主 效应 显著 : 在 搜索 集 为 60 AUER, F(S, 22)= 17.26, 


p<0.001, n2=0.80, TTI 为 0ms(3.35s) 时 ， 反应 时 最 短 , 并 显著 短 于 其 他 5 种 TTI 条 件 (ps < 


0.001)。 其 次 是 -100ms 条 件 (3.96s，p = 0.002) 和 100ms 条 件 (4.22s，p = 0.02) 的 反应 时 都 显著 


短 于 无 声音 条 件 (5.65s) 的 反应 时 ; -200ms 条 件 (4.77s, p = 0.15) 和 200ms 条 件 (5.74s, p=0.921) 
的 反应 时 与 无 声音 条 件 的 反应 时 无 显著 差异 -200ms 条 件 的 反应 时 显著 长 于 -100ms 条 件 (p = 
0.001) 的 反应 时 ，200ms 条 件 的 反应 时 显著 长 于 100ms 条 件 (p < 0.001) 的 反应 时 。 在 搜索 集 


为 36 条 件 下 ，F(5，22) = 8.30，Pp <0.001，np?=0.65，0ms 条 件 的 反应 时 (2.11s) 也 最 短 ， 并 


显著 短 于 其 他 5 种 TTI 条 件 (ps < 0.001). 其 次 是 -100ms 条 件 (2.57s) 的 反应 时 显著 短 于 无 声音 

条 件 (3.15s，p = 0.01)，100ms 条 件 (2.67s) 的 反应 时 与 无 声音 条 件 无 显著 差异 (p = 0.092); 
N -200ms 条 件 (2.93s, p = 0.372) 和 200ms 条 件 (3.47s，p = 0.489) 的 反应 时 与 无 声音 条 件 的 反应 
= 时 无 显著 差异 。-200ms 条 件 的 反应 时 与 -100ms 条 件 的 反应 时 差异 显著 (op = 0.018), 200ms 
R 条 件 的 反应 时 与 100ms 条 件 的 反应 时 差异 显著 (op = 0.013)( 见 图 5a). 

3.2.3 眼 动 数据 

(1) 平均 注视 次 数 
平均 注视 次 数 方 差分 析 结 果 发 现 搜索 集 大 小 主 效应 显著 , F(1, 26)= 113.85, p<0.001, 
np? = 0.81， 进 一 步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 注视 次 数 (16.88 次 ) 显 著 多 于 搜索 集 为 36 


条 件 (10.31 次 ) 的 注视 次 数 。TTI 主 效应 显著 ，F(5，130)= 11.47，P < 0.001，m2 = 0.31， 进 


一 步 分 析 表 明 ，TTI 为 0ms(9.85 次 ) 时 ， 注 视 次 数 最 少 ， 并 显著 少 于 其 他 5 种 TTI 条 件 (ps < 


0.001)。 其 次 是 -100ms 条 件 (11.93 次 , p < 0.001) 和 100ms 条 件 (12.65 次 , p = 0.006) 的 注视 次 


数 显著 少 于 无 声音 条 件 (16.46 次 ) 的 注视 次 数 。-200ms 条 件 (14.03 次 ，p = 0.082) 和 200ms 条 


件 (16.64 次 ，p = 0.926) 的 注视 次 数 与 无 声音 条 件 的 注视 次 数 无 显著 差异 ; -200ms 条 件 的 注 


视 次 数 显著 多 于 -100ms 条 件 的 注视 次 数 (p < 0.001), 200ms 条 件 的 注视 次 数 显著 多 于 100ms 


条 件 的 注视 次 数 (p < 0.001)。 


搜索 集 大 小 与 TTI 的 交互 作用 显著 ，F(5，130) =5.11, p < 0.001，mp2= 0.16， 简 单 效应 
分 析 发 现 ， 两 种 搜索 集 条 件 下 TTI 主 效应 显著 : 在 搜索 集 为 60 条 件 下 ，F(5，22) = 19.33， 
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p<0.001, np*=0.82, TTI 为 0ms(12.02 次 ) 时 ， 注 视 次 数 最 少 ， 并 显著 少 于 其 他 5 种 TTI 条 


件 (ps < 0.001)。 其 次 是 -100ms 条 件 (14.43 X, p = 0.001) 和 100ms 条 件 (15.56 次 ，p = 0.01) 


的 注视 次 数 显 著 少 于 无 声音 条 件 (20.90 次 ) 的 注视 次 数 ，-200ms 条 件 (17.27 次 ，p = 0.079) 和 


200ms 条 件 (20.10 次 ，p = 0.943) 的 注视 次 数 与 无 声音 条 件 的 注视 次 数 无 显著 差异 ; -200ms 


条 件 的 注视 次 数 显著 多 于 -100ms 条 件 的 注视 次 数 (p < 0.001)，200ms 条 件 的 注视 次 数 显 著 多 


于 100ms 条 件 的 注视 次 数 (p < 0.001)。 在 搜索 集 为 36 RFF, F(5, 22)=10.19, p<0.001, 


mp2= 0.70, Oms 条 件 的 注视 次 数 (7.68 次 ) 也 最 少 ， 并 显著 少 于 其 他 5 种 TTI 条 件 (ps < 0.001)。 


=i 


其 次 是 -100ms 条 件 (9.44 R, p = 0.002) 和 100ms 条 件 (9.75 次 ，p = 0.019) 的 注视 次 数 显著 少 


于 无 声音 条 件 (12.02 次 ) 的 注视 次 数 ; -200ms 条 件 (10.79 次 , p=0.18) 和 200ms 条 件 (12.19 次 ， 


P = 0.902) 的 注视 次 数 与 无 声音 条 件 的 注视 次 数 无 显著 差异 。-200ms 条 件 的 注视 次 数 显 著 多 


于 -100ms 条 件 的 注视 次 数 (p = 0.018), 200ms 条 件 的 注视 次 数 显著 多 于 100ms 条 件 的 注视 次 


数 (p = 0.006)( 见 图 5b)。 
= (2) 平均 眼 跳 幅 度 
= 平均 眼 跳 幅度 方差 分 析 结 果 发 现 搜索 集 大 小 主 效应 显著 ，F(1，26) = 9.01, p= 0.006, 
mp2= 0.26， 进 一 步 分 析 表 明 ， 搜 索 集 为 60 条 件 的 眼 跳 幅度 (4.59”) 显 著 大 于 搜索 集 为 36 条 
件 (4.37”) 的 眼 跳 幅度 。TTI 主 效应 显著 ，F(5，130) = 4.67， p=0.001, np = 0.15， 进 一 步 
分 析 表 明 , TTI 为 Ooms(4.78”) 时 , 眼 跳 幅度 最 大 , 并 显著 大 于 


其 次 是 -100ms 条 件 (4.49”，p = 0.032) 和 100ms 条 件 (4.50”，p = 0.003) 显 著 大 于 无 声音 条 


他 5 FH TTI 条件 (ps <0.021)。 


件 (4.25”) 的 眼 跳 幅 度 ; -200ms 条 件 (4.43”，p = 0.055) 和 200ms(4.45° , p = 0.151) 的 眼 跳 
幅度 与 无 声音 条 件 的 眼 跳 幅 度 无 显著 差异 ; -200ms 条 件 的 眼 跳 幅 度 与 -100ms 条 件 的 眼 跳 幅 
的 眼 跳 幅度 与 100ms 条 件 的 眼 跳 幅度 无 显著 差异 (p = 


0.727)。 搜 索 集 大 小 与 TT 的 交互 作用 不 显著 ，F(5，130)=2.13, p= 0.066( 见 图 Sc). 
(3) 平均 注视 时 间 
平均 注视 时 间 方 差分 析 结 果 发 现 TTI 的 主 效应 显 车 ，F(S，130) = 4.39， p=0.001, n? 


Tr 


度 无 显著 差异 (p = 0.545), 200ms 414 


= 0.14， 进 一 步 分 析 表 明 ，TTI 为 0ms(245.04ms) 时 ， 注 视 时 间 最 长 ， 并 显著 长 于 其 他 5 种 


TTI 条 件 (ps < 0.026). 100ms 条 件 (237.03ms，p = 0.031) 和 -100ms 条 件 (236.11ms,， p = 0.036) 


的 注视 时 间 显 著 长 于 无 声音 条 件 (228.14ms) 的 注视 时 间 ; 200ms 条 件 (237.25ms，p = 0.061) 


和 -200ms 条 件 (234.59ms,p = 0.187) 的 注视 时 间 与 无 声音 条 件 的 注视 时 间 无 显著 差异 ; 200ms 


与 100ms 的 注视 时 间 无 显著 差异 (p = 0.909)，-200ms 与 -100ms 的 注视 时 间 无 显著 差异 (p = 
0.691)。 搜 索 集 大 小 主 效应 不 显著 ，F(1，26) = 1.42，p = 0.25; 搜索 集 大 小 与 TT 的 交互 作 
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图 5 实验 2 结果 图 
YE: 图 a、b、c、d 分别 为 不 同 条 件 下 的 反应 时 (s)、 平 均 注视 次 数 (次 )、 平 均 眼 跳 幅度 ( 度 )、 平 均 注 视 时 间 (ms) 的 结果 。 
3.3 讨论 


实验 2 通过 操纵 搜索 集 大 小 和 听觉 刺激 与 视觉 目标 的 间隔 时 间 , 考察 视听 刺激 时 间 一 致 
性 对 Pip-and-Pop 效应 的 影响 。 结 果 发 现 ， 与 无 声音 的 基线 条 件 相 比 ， 听 觉 刺 激 与 视觉 目标 
颜色 变化 之 间 的 时 间 间 隔 (TTD 在 Oms, -100ms, 100ms 条 件 下 ， 搜 索 反 应 时 都 显著 变 短 ， 搜 
索 过 程 中 的 注视 次 数 减少 ， 平 均 眼 跳 幅 度 增加 ， 平 均 注 视 时 间 变 长 ， 当 TTI 为 -200ms 和 


200ms 时 , 与 无 声音 条 件 无 显著 差异 。 这 说 明 TTI 在 -100ms 到 100ms 产生 了 Pip-and-Pop 效 


应 ,其 中 TITI 为 0ms 时 Pip-and-Pop 效应 最 大 ,-200ms 和 200ms 两 种 条 件 没 有 产生 Pip-and-Pop 
效应 。 实 验 结果 表明 视听 刺激 时 间 越 一 致 ，Pip-and-Pop 效应 越 大 。 
研究 结果 表明 ， 反 应 时 与 TTI 之 间 的 关系 呈 U 型 曲线 : TTI 的 绝对 值 越 小 ， 反 应 时 


短 。TTI 在 -100ms 到 100ms 产生 了 Pip-and-Pop 效应 , 这 与 视听 整合 的 时 间 窗 口 一 致 (Lewald 


(= 


et al., 2001; Lewald & Guski, 2003)。 并 且 在 早期 研究 中 发 现 ， 与 视觉 目标 时 间 上 同步 的 听觉 
刺激 会 增加 视觉 刺激 的 感知 强度 (Stein et al., 1996)， 所 以 Oms 条 件 下 同步 的 听觉 刺激 可 能 会 


增强 对 视觉 目标 的 感知 ， 产 生 的 Pip-and-Pop 效应 最 大 。 而 -200ms 和 200ms 条 件 不 在 视听 


整合 的 时 间 窗 范围 内 ， 即 使 听觉 刺激 存在 ， 但 不 能 有 效 的 与 视觉 目标 进行 整合 ,所 以 没有 产 


生 Pip-and-Pop 效应 。 


RE U 型 曲线 : TTI 的 绝对 值 越 小 , 平均 注视 次 数 越 少 ; 平均 
也 表明 只 有 TTI 在 0ms，-100ms，100ms 条 件 下 ， 才 会 优化 搜索 的 眼 动 行为 。 这 种 在 眼 动 行 
为 上 的 优化 在 以 往 研究 中 被 认为 是 冰冻 效应 (freezing effect) 所 致 , Zou 等 (2012) 使 用 平均 注视 
时 间 来 量化 冰冻 效应 。 即 无 空间 信息 的 听觉 刺激 “冰冻 ”了 了 眼 动 ， 突 然 出 现 的 听觉 刺激 抑制 


(人 


了 眼 跳 ， 使 眼 路 延迟 ， 从 而 搜索 过 程 中 上 
和 更 广阔 的 空间 内 通过 增 大 眼 跳 幅度 、 减 


导 接 下 来 的 注视 指向 目标 ， 加 快 对 目标 的 定位 。 此 外 ， 由 这 


£ 


在 平均 注视 次 数 眼 动 指标 中 发 现 了 与 反应 时 相同 的 结果 ,平均 注视 次 数 与 TTI 之 间 的 关 


眼 跳 幅 度 与 平均 注视 时 间 结 果 


平均 注视 时 间 变 长 ,那么 被 试 就 可 以 在 更 长 的 时 间 


少 注视 次 数 对 视觉 目标 进行 搜索 ， 从 而 更 精确 地 引 


“冰冻 ”所 引起 的 时 间 变 长 不 


仅 可 以 提高 目标 在 当前 区 域 的 搜索 效率 , 也 可 以 快速 拒绝 目标 不 在 的 区 域 , 从 而 提高 整体 的 
搜索 效率 (Zou et al., 2012)。 与 以 往 研究 结果 不 同 的 是 ， 本 研究 发 现 Oms 条 件 时 的 平均 注视 


时 间 最 长 ， 这 说 明 听 觉 刺激 对 视觉 搜索 


的 促进 作用 并 不 全 是 冰冻 效应 引起 的 。 综 上 表明 


Pip-and-Pop 效应 遵循 时 间 一 致 性 原则 ， 视 听 刺 激 呈 现时 间 越 一 致 ， 产 生 的 Pip-and-Pop 效应 


越 大 。 


4 总 讨论 


本 研究 采用 动态 视觉 搜索 范式 ,通过 两 个 实验 考察 视听 刺激 空间 一 致 性 、 时 间 一 致 性 对 


Pip-and-Pop 效应 的 影响 。 实 验 1 发 现 同 侧 条 件 所 产生 的 Pip-and-Pop 效应 最 大 ， 双 侧 条 件 也 


产生 了 Pip-and-Pop 效应 , 对 侧 条 件 没有 产生 Pip-and-Pop 效应 ; 实验 2 发 现 视 听 刺 激 同 时 呈 


现 所 产生 的 Pip-and-Pop 效应 最 大 ， 随 视听 刺激 呈现 时 间 间 隔 的 增加 Pip-and-Pop 效应 减弱 。 
研究 表明 ， 视 听 刺 激 在 空间 、 时 间 上 越 一 致 ， 对 Pip-and-Pop 效应 越 大 。 
4.1 知觉 负荷 在 视听 时 、 空 一 致 性 对 Pip-and-Pop 效应 影响 中 的 调节 作用 


本 研究 的 两 个 实验 都 发 现 了 搜索 集 大 小 对 Pip-and-Pop 效应 的 影响 ， 实 验 1 在 平均 眼 跳 


幅度 指标 中 发 现 了 搜索 集 大 小 和 视听 空间 
两 个 指标 中 发 现 了 搜索 集 大 小 和 视听 时 间 一 致 特 


一 致 和 


存在 交互 作 有 
E 存 在 交互 作 月 


Hs 实验 2 在 反应 时 和 注视 次 数 


昌 。 前 人 研究 表明 , 在 识别 单个 


目标 时 增加 干扰 刺激 数量 ， 意 味 着 存在 更 大 的 认 知 负担 (Pluta etal., 2011)， 那 么 研究 中 增 大 
搜索 集 也 就 意味 着 增 大 了 知觉 负荷 , 两 个 实验 结果 都 表明 搜索 集 大 的 条 件 所 产生 的 知觉 负荷 


和 Pip-and-Pop 效应 大 。 


实验 1 发 现 只 有 在 搜索 集 为 60 条 件 下 ， 视 听 空 间 一 致 性 才 会 增加 平均 眼 跳 幅 度 。 根 据 
知觉 负荷 理论 , 与 无 负荷 或 低 负荷 条 件 相 比 , 在 高 知觉 负荷 条 件 下 被 试 需要 集中 所 有 注意 资 
源 参与 到 任务 中 (Lavie, 2005)， 本 研究 中 相 比 于 其 他 两 个 搜索 集 条 件 ， 搜 索 集 为 60 条 件 下 被 
试 投 入 了 更 多 的 注意 资源 ， 所 以 产生 的 Pip-and-Pop 效应 最 大 。 

实验 2 发 现在 搜索 集 为 36 条 件 下 反应 时 和 注视 次 数 两 个 指标 的 听觉 刺激 作用 均 有 减 小 。 
在 反应 时 和 注视 次 数 这 两 个 指标 上 ， 搜 索 集 为 36 条 件 下 仅 发 现 视 听 刺 激 间 隔 在 0ms 条 件 和 
-100ms 条 件 时 对 搜索 有 促进 作用 ,100ms 条 件 对 搜索 不 再 有 促进 作用 。 此 外 , 在 Zou 等 (2012) 
使 用 搜索 集 为 36 的 研究 中 表明 , 反应 时 与 眼 动 结果 都 发 现 无 论 视听 刺激 呈现 时 间 是 否 一 致 ， 
对 搜索 都 有 促进 作用 , 但 时 间 条 件 之 间 没 有 显著 差异 (Zou et al., 2012)。 其 原因 可 能 是 所 使 用 
的 搜索 集 较 小 , 相应 的 知觉 负荷 也 小 。 已 有 研究 表明 知觉 负荷 影响 听觉 刺激 对 视觉 搜索 的 促 
进 作 用 ， 在 搜索 复杂 而 非 简单 的 视觉 刺激 时 ， 声 音 的 促进 效果 更 强 (Knoeferle et al., 2016), 
那么 在 搜索 集 为 36 条 件 下 ， 视 觉 搜 索 任务 简单 ， 仅 根据 视觉 目标 的 颜色 变化 也 能 快速 搜索 
到 视觉 目标 ， 而 在 搜索 集 为 60 条 件 中 ， 只 有 同步 的 听觉 刺激 与 视觉 目标 整合 吸引 更 多 的 注 
意 , 才能 更 快 的 搜索 到 视觉 目标 。 综 上 两 个 实验 结果 都 说 明知 觉 负 荷 在 视听 空间 一 致 性 和 视 
听 时 间 一 致 性 影响 Pip-and-Pop 效应 中 起 到 了 调节 作用 。 
4.2 Pip-and-Pop 效应 的 产生 原因 

本 研究 表明 视听 刺激 空间 一 致 性 和 时 间 一 致 性 影响 Pip-and-Pop 效应 ， 这 说 明 
Pip-and-Pop 效应 遵循 多 感觉 整合 的 两 个 重要 原则 ， 即 实验 1 研究 结果 符合 多 感觉 整合 的 空 
间 原 则 ; 实验 2 研究 结果 符合 多 感觉 整合 的 时 间 原 则 。 基 于 以 往 研究 和 本 研究 的 结果 可 以 推 
测 Pip-and-Pop 效应 产生 的 原因 至 少 有 一 部 分 是 由 多 感觉 整合 所 引起 的 。 以 往 研究 中 对 
Pip-and-Pop 效应 的 解释 除了 多 感觉 整合 以 外 , 也 有 研究 者 认为 是 oddball 刺激 吸引 注意 产生 
了 Pip-and-Pop 效应 。Ngo 等 (2010) 研 究 发 现 ， 呈 现 视觉 线索 时 对 视觉 目标 的 促进 作用 与 呈 
现 听觉 线索 时 对 视觉 目标 的 促进 作用 没有 显著 差异 ， 这 表明 无 论 刺 激 是 单 通道 还 是 双 通 道 ， 


只 要 与 视觉 目标 同时 呈现 的 线索 使 视觉 目标 变 成 一 个 oddball 刺激 ， 这 种 促进 效应 就 能 出 现 


一 


= 
fe = 
= 

D 
($) 


(Ngo & Spence, 2010b). 

那么 本 研究 中 所 发 现 的 Pip-and-Pop 效应 是 否 也 可 以 用 oddball 刺 激 吸 引 注意 来 解释 呢 ? 
第 一 , 本 研究 中 除了 基线 的 无 声音 条 件 外 , 两 个 实验 所 有 的 条 件 都 是 通过 视听 双 通 道 刺 激 呈 
现 的 ， 所 以 即使 本 研究 中 与 视觉 目标 同时 呈现 的 听觉 线索 使 视觉 目标 变 成 oddball 刺激 吸引 
注意 可 以 产生 Pip-and-Pop 效应 ， 但 也 无 法 排除 视听 整合 在 其 中 的 作用 。 第 二 ， 本 研究 中 的 
听觉 线索 包含 了 有 空间 信息 和 无 空间 信息 听觉 线索 两 种 ， 以 往 发 现 oddball 刺激 吸引 注意 的 
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视觉 搜索 研究 中 只 有 无 空间 信息 听觉 线索 ,二 者 情况 并 不 一 致 。 第 三 ， 本 研究 中 所 使 用 的 动 


态 视觉 搜索 范式 与 以 人 多 
试 在 动态 和 杂乱 的 


也 就 是 说 , 让 视觉 目 


7 


F 扰 物 中 搜索 视觉 有 


ERIL oddball 刺激 吸引 注意 的 视觉 搜索 范式 不 同 。 例 如 ， 本 研究 中 被 
标 , 同步 的 听觉 线索 可 以 让 视觉 目标 比 干扰 物 更 显著 ， 
标 从 周围 的 干扰 物 刺 激 中 “pop-out”, 从 而 提高 搜索 效率 。 而 发 现 oddball 


刺激 吸引 注意 的 研究 使 用 的 是 序列 呈现 的 视觉 搜索 范式 , 视觉 目标 的 呈现 时 间 非 常 短暂 ， 同 


步 的 线索 以 一 种 冰冻 的 方式 , 允许 被 试 在 短 时 间 内 对 视觉 目标 进行 搜索 ， 从 而 提高 搜索 效率 


本 研究 


(Ngo & Spence, 2012)。 第 四 ， 以 往 研究 表明 ， 相 比 于 多 感觉 整合 ，oddball 刺激 吸引 注意 能 
更 好 的 解释 冰冻 效应 , 当 注 意 力 被 oddball 刺激 吸引 时 ,会 引起 主观 时 间 变 长 (Tse et al., 2004)。 
只 有 实验 2 发 现 了 突然 出 现 的 声音 冰冻 了 有 眼 跳 , 从 而 通过 平均 注视 时 间 变 长 来 调节 


眼 动 。 实验 1 中 并 没有 发 现 平均 注视 时 间 变 长 , 原因 可 能 是 受到 有 空间 信息 的 听觉 线索 的 影 
响 ， 被 试 可 以 通过 空间 信息 来 调节 眼 动 ， 并 不 需要 “冰冻 ”来 搜索 视觉 目标 。 
综 上 四 点 原因 ， 我 们 推测 Pip-and-Pop 效应 的 产生 原因 有 一 部 分 是 由 多 感觉 整合 所 引起 


u 


的 , 但 也 不 能 完全 排除 或 确定 oddball 吸引 注意 在 其 中 的 作用 , 所 以 Pip-and-Pop 效应 的 具体 
产生 原因 还 有 待 实验 进一步 探究 。 


5 结论 


视听 刺激 空间 一 致 性 、 时 间 一 致 性 对 Pip-and-Pop 效应 具有 调节 人 作用。 视听 刺激 空间 位 
置 越 一 致 ，Pip-and-Pop 效应 越 大 ; 视听 刺激 呈现 时 间 越 一 致 ，Pip-and-Pop 效应 越 大 。 当 前 


研究 结果 为 Pip-and-Pop 效应 产生 的 原因 


MAÈ 


tr 
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的 视听 整合 条 伯 


进一步 实验 探究 Pip-and-Pop 效应 的 产生 机 制 。 


是 多 感觉 整合 提供 了 证 据 。 此 外 ， 在 未 来 的 研究 中 


F 与 oddball 刺激 吸引 注意 条 件 进行 对 比 ， 
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The impact of temporal and spatial consistency of audiovisual 


stimuli on Pip-and-Pop effect 


Abstract 

Previous studies usually used the dynamic visual search paradigm to explore the Pip-and-Pop 
effect, which suggests that the Pip-and-Pop effect is influenced by multiple factors. But the impact 
of temporal and spatial consistency of audiovisual stimuli on the Pip-and-Pop effect is still 
controversial. In present study, we applied the eye movement technology to the dynamic visual 
search paradigm to systematically investigate the impact of temporal and spatial consistency of 
audiovisual stimuli on the Pip-and-Pop effect. Based on the results of previous studies, we 
expected that the spatial and temporal consistency of audiovisual modulated the Pip-and-Pop 
effect. The more consistent the spatial location of audiovisual stimuli are, the greater the 
Pip-and-Pop effect will be. The more consistent the temporal of audiovisual stimuli are, the 
greater the Pip-and-Pop effect will be. 

Experiment 1 was a 3 (set sizes: 36, 48, 60) x 4 (spatial consistency conditions: ipsilateral, 
contralateral, bilateral, no sound) within-subjects design, recruited 24 participants(5 males; age 
range: 19-28 years; mean age: 22.5+2.3 years). The visual search displays consisted of 24, 36, or 
48 red (13.9 cd/m?) or green (46.4 cd/m?) line segments (0.57°x0.17°) on a black (0.4cd/m?) 
background. Auditory stimulus was 1000Hz pure tone (65 dB, 60ms, including 5ms fade-in and 
5ms fade-out time), presented through speakers on the left and right sides behind the screen. 
Each trial started with a drift calibration point. The drift calibration point would not disappear 
until the participant gazed upon this point. This was followed by a central fixation point of 
1000ms, and finally a search screen. The participants were required to find the target line segment 
and judge whether the target line segment was vertical or horizontal by pressing the key (Z key or 
M key) as quickly and accurately as possible. Experiment 2 was a 2 (set sizes: 36, 60) x 6 
(temporal consistency conditions: -200ms, -100ms, Oms, 100ms, 200ms, no sound) 
within-subjects design, recruited 27 participants(5 males; age range: 18—25 years; mean age: 
20.7+2.4 years). These temporal consistency conditions represent the tone sounded before ( -200, 
-100ms), simultaneous with (Oms), or after (100, 200ms) the visual target event. The tone could 


also be absent (no sound). The experimental materials and procedures of Experiment 2 were 
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identical to those in Experimentl1. 

Regarding the results in Experiment 1, compared with the baseline condition (no sound), the 
search response time was the shortest under the condition of ipsilateral, the mean fixation number 
was the least, and the mean saccade amplitude was the smallest, indicating that the search 
efficiency was the highest in the ipsilateral condition, the Pip-and-Pop effect was the largest in the 
ipsilateral condition. Bilateral condition was the second. The contralateral condition showed no 
significant difference in the above indicators compared with the no sound condition, indicating 
that no Pip-and-Pop effect was found in the contralateral condition. The results showed that the 
more consistent the spatial location of audiovisual stimuli were, the greater the Pip-and-Pop effect 
was. In Experiment 2, compared with the no sound condition, we found that the response time of 
search was significantly shorter, the mean fixation number in search decreased, the mean saccade 
amplitude increased, and the mean fixation duration became longer under the conditions of Oms, 
-100ms and 100ms. Compared with the no sound condition, conditions -200ms and 200ms showed 
no significant difference in the above indicators. This indicated that the conditions of Oms, -100ms 
and 100ms produced Pip-and-Pop effect, and the Pip-and-Pop effect was the largest under the 
condition of Oms, while Pip-and-Pop effect did not find under the condition of -200ms and 200ms. 
The results showed that the more consistent the temporal of audiovisual stimuli were, the greater 
the Pip-and-Pop effect was. 

In summary, the results showed that the more consistent the audiovisual stimuli were in space 
and time, the larger the Pip-and-Pop effect was. Therefore, the findings in the present study 
suggest that the temporal and spatial consistency of audiovisual stimuli modulates the Pip-and-Pop 
effect. The results provide evidence that the reason for Pip-and-Pop effect is multisensory 
integration. 

Key words Pip-and-Pop effect, dynamic visual search, audiovisual spatial consistency, 


audiovisual temporal consistency, eye movement technique 
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